3.5 Special Cases: 2-Fold and Leave-One-Out Cross-Validation
3.4での説明にk=5を選んだ理由
実用上よくある選択。計算コストも高くない
If k is too small, though, the pessimistic bias of the performance estimate may increase (since less training data is available for model fitting), and the variance of the estimate may increase as well since the model is more sensitive to how the data was split
「kが小さすぎると、汎化性能の見積もりにおける悲観的なバイアスが増加するかもしれない(訓練データが少ないため)」
「また、モデルがデータの分割の仕方により敏感になるため、見積もりのvarianceも増加するかもしれない」
特別なケースの1つ目:k=2
2-fold cross-validation as being equal to the holdout method
ただし、trainとtestを2つに分け、trainとtestを入れ替えるホールドアウト法と等しい
特別なケースの2つ目:k=n(nは訓練データ数)
LOOCV: Leave-One-Out Cross-Validation
we fit a model to n − 1 samples of the dataset and evaluate it on the single, remaining data point.
1つのサンプルを残し、それ以外を訓練データとしてモデルを訓練し、残った1つだけのデータ点を評価する
n回繰り返すので計算コストは高いが、小さいデータセットでは役に立つ
kの値の選択について、見積もりのvarianceとbiasに影響するか
a value for k that seems to be a good trade-off between variance and bias in most cases
「多くの場合、varianceとbiasのよいトレードオフとなるようなkの値」(3.6で言及)
="スイートスポット" がある
Hawkins and others compared performance estimates via LOOCV to the holdout method and recommend the LOOCV over the latter – if computationally feasible:
「ホーキンスたちはLOOCVを通した汎化性能の見積りをホールドアウトメソッドと比較し、コンピュータが処理可能ならば後者(ホールドアウト)よりもLOOCVを推奨した」
if you have 150 or more compounds available, then you can certainly make a random split into 100 for calibration and 50 or more for testing.
「150以上のcompounds(データ点のこと?)が手に入るなら、ランダムに訓練用(*モデルのcalibrationと理解)100とテスト用の50以上に分けることができる」
One reason why we may prefer the holdout method may be concerns about computational efficiency, if the dataset is sufficiently large.
「私たちがホールドアウト法を好むかしれない1つの理由は、データセットが十分に大きいならば(k交差検証の)計算効率が懸念となるからかもしれない」
経験上、データセットが大きくなれば、(汎化性能の見積りの)悲観的なバイアスと大きなvarianceという懸念はあまり問題でなくなるといえる
"より頑健な"見積りを獲得することを望んで異なるランダムシードでk交差検証を繰り返すことはめったに無いことではない(例:k=5交差検証を100回)
ランダムシートをまたぐと、テストフォールドが重なってしまっている
LOOCVは同一のデータ分割をするので繰り返すことはない
(感想:ランダムシードを変えても1つとそれ以外になることは変わらない)